GAE → Stackdriver Logging → BigQuery

神か??

アプリケーションログを構造化して出力する

出力するログの構造

構造がバラバラだと BigQuery の table に移す段階でこまるので

type: hoge はこういう構造、というスキーマを決めておく

構造の中に JSON いれてバラして BigQuery に入れれるかは未調査

標準 SQL の JSON 関数 | BigQuery | Google Cloud 関数はある, テーブル作るまで Export の仕事だから、それをまた抽出してテーブルにする必要があるかな?

BigQuery でフィルタ

どうやら daily でテーブル(BQ用語)が作られるっぽい

BQ でクエリできるので、抽出して上位を集めたりきっとシュッとできる

テーブル名に * 使えるので、今月のテーブルまとめて集計、とかもできる

ログの定期集計

Cloud Scheduler で PubSub へトピックを Pub

Sub していた Cloud Function が BQ へクエリを投げる

...という想定

ドキュメントリンク集